EnigmaForge: The Question Is Hidden in the Story
问题藏在故事里：程序化生成的 LLM 问题发现基准
🧭 LLM 评估 · 问题发现基准
用程序化生成的文档谜题测试 LLM 无明确问题时自主发现问题与求解，揭示直觉排序与事实恢复差异巨大
📌 工作参考价值（4 点）
- 为 Agent 增加“无明确指令”评估轴：现有 Agent 评测多给显式任务，但电商推荐/搜索中用户意图常隐晦（如浏览、收藏、负反馈）。可借鉴 EnigmaForge 的 intuition vs guided 双指标，单独衡量模型在没有 question 时能否从行为日志或上下文文档中主动发现问题并产出可执行动作。
- 用 SAT/约束求解生成唯一解且每条线索必要的合成样本：在推荐规则引擎、策略配置、prompt 模板的单元测试中，可生成带消融证书的合成场景，保证每个条件都 load-bearing，避免标注噪声和过拟合。
- 区分安全拒答与能力失败，避免评估污染：线上模型评估要单独记录 content filter 拦截率和 refusal 率，否则会把安全策略误判为能力差；尤其是电商 Agent 面对用户生成内容时，需要把拒答路径从业务指标中剥离。
- 程序化生成 + 种子控制，构建可无限扩展的回归集：借鉴其从种子生成、永不重复、已发布题目不会成为测试泄漏的方式，为推荐/搜索模型搭建持续评测集，防止数据污染和 leaderboard 作弊。